论文笔记03：H-Scheduler Storage-Aware Task Scheduling for Heterogeneous-Storage Spark Clusters

发表于2018

一、存在的问题

Spark集群在存储介质（HDDs 和 SSDs）异构的问题，导致不同结点的读写速度不一致，没有充分地利用异构存储的优势。当前针对于异构环境下的调度，只考虑了计算资源，而忽视了存储设备异构性的问题。

二、提出的方法

2.1 创新点

考虑Spark集群上存储介质的不同对任务完成时间的影响，提出了对于异构存储介质集群存储感知的任务调度策略。

2.2 结果

实验结果显示，H-Scheduler能够降低Job 73.6%的执行时间。

三、背景&动机

• 支持异构存储介质的HDFS；
• 支持异构存储介质的HDFS和当前调度策略的匹配：
• 由于网速的提升，对于数据本地化的影响对于任务执行的影响在降低；

四、设计

H-Scheduler在调度决策同时考虑将数据本地化和存储介质类型这两个因素。

第一步 任务分类

H-Scheduler在调度之前应该知道处理每个任务的存储介质类型，根据任务的本地性和数据块存储介质的类型将任务进行分类，分为以下四种类型：

1. SSD task
2. remote SSD task
3. local HDD task
4. remote HDD task

四种类型的任务执行时间依次递增

将任务分成SSD中的任务和HDD中的任务两大类

第二步 任务优先级设置

根据四种任务类型来决定任务的执行顺序
任务的优先级为：

local SSD task > local HDD task > remote HDD task > remote SSD task.

第三步 节点的选择

在选择执行远程任务的时候，有以下三种策略：

1. 随机选择
2. 最多优先选择：选择拥有本地任务最多的节点
3. 最少优先选择：选择拥有本地任务最少的节点

五、算法

算法1

适合的两个场景：

1. 工作量是计算密集型的，任务数量很大；
2. 能耗低要求较高，对于SLA截止时间要求较低。

六、实验

四种典型的工作负载：

• Wordcount(500GB)：CPU密集型任务
• Sort(400GB)：Shuffle密集型任务
• Grep(600GB)：I/O密集型任务
• TPC-H：I/O密集型任务

三种调度策略进行对比：

• Original:只考虑了数据本地化而没有考虑存储介质的差异；
• Storage-type：只考虑了存储介质的差异而没有考虑数据本地化；
• H-Scheduler：既考虑了数据本地化又考虑了存储介质的差异。

分别评估了两种job：

• Single job on cluster:
• Multiple jobs on cluster：同时运行三个job

影响H-Scheduler的三个重要参数：

• SSD 任务的比例：比例越高，性能越好
• SSD的副本数目：
• SSD task，remote SSD task和HDD task之间时间的比例

七、相关研究

任务调度在大数据处理平台上处理策略：

提升数据本地化程度

通过提升数据本地化的程度来提升大数据平台的处理性能

处理异构计算资源